不等式：2. Jensen不等式
Jensen不等式阐明了在凹/凸函数中，“先取点的平均值再获取函数值”比“先获取函数值再取平均值”更小/更大。后续部分我们只以凹函数为例子。
凹函数定义
如果$f(x)$满足：
$$
f(\alpha x + (1 - \alpha) y) \leq \alpha f(x) + (1 - \alpha) f(y)
$$
其中$\alpha$是一个实数，并且$0 \leq \alpha \leq 1$，$x$和$y$是函数的两个输入。
那么我们就称$f(x)$是一个凹函数。
Jensen 不等式
Jensen 不等式是凹函数定义的推广，即：
$$
f(\sum a_i x_i) \leq \sum a_i f(x_i)
$$
$x_i$是函数的输入。$alpha_i$满足：$\sum a_i = 1 \wedge 0 \leq a_i$
Jensen 不等式的连续形式
设$f(x)$是一个凹函数，$x$是一个随机变量，$p(x)$是$x$的概率密度函数。那么：
$$
\int f(x) p(x) dx = \sum f(x) \underbrace{p(x) \Delta x}_{\text{满足a的性质}} \geq f(\sum xp(x)\Delta x)
$$
其中，$f(\sum xp(x)\Delta x)$是$x$的期望，即：
$$
\mathbb{E}[f(x)] \geq f(\mathbb{E}(x))
$$
